Roblox разгръща AI система с отворен код, за да защити децата от хищници в чатовете

roblox, онлайн платформата за игри, диво известна измежду децата и младежите, разпростира версия с отворен код на система за изкуствен интелект, за която се споделя, че може да помогне за попречване на попречване на грабителски език в чатовете за игри.

Този ход идва, когато компанията е изправена пред правосъдни каузи и рецензии, обвиняващи го, че не прави задоволително, с цел да отбрани децата от хищници. Например, дело, заведено предишния месец в Айова, се твърди, че 13-годишно момиче е било показано на възрастен див звяр на Roblox, след което е отвлечено и трафик на голям брой щати и изнасилва. Искът, подаден в Окръжния съд в Айова в окръг Полк, твърди, че дизайнът на Roblox кара децата, които го употребяват „ лесна плячка за педофили. “

Roblox споделя, че се стреми да направи своите системи допустимо най -безопасни, само че отбелязва, че „ никоя система не е съвършена и едно от най -големите провокации в промишлеността е да открие сериозни вреди като евентуални деца за деца. “

AI системата, наречена Sentinel, оказва помощ за разкриване на ранни признаци на допустима застрашаване на деца, като полово експлоатационен език. Roblox споделя, че системата е предиздвикала компанията да показа 1200 отчета за евентуални опити за употреба на деца в Националния център за изчезнали и експлоатирани деца през първата половина на 2025 година Компанията в този момент е в развой на отворен източник, тъй че и други платформи могат да го употребяват и за това.

Превентно откриването на вероятни рискове за децата може да бъде комплицирано за AI системи - и хората също - тъй като диалозите първоначално могат да наподобяват безобидни. Въпроси като „ На какъв брой години си? “ или „ Откъде си? “ Не би било наложително да вдигне червени флагове независимо, само че когато се слагат в подтекст в хода на по -дълъг диалог, те могат да придобият друго значение.

Roblox, който има повече от 111 милиона месечни консуматори, не разрешава на потребителите да споделят видеоклипове или изображения в чатовете и се пробва да блокира всяка персонална информация като телефонни номера, въпреки че - както при множеството правила за сдържаност - хората непрекъснато намират способи да заобиколят сходни защитни ограничения.

Освен това не разрешава на децата под 13 години да беседват с други консуматори отвън игри, в случай че нямат категорично родителско позволение - и за разлика от доста други платформи, той не криптира частни диалози за чат, тъй че може да ги следи и умерява. ; „ Но когато мислите за неща, свързани с застрашаването на деца или развъждането, типовете държания, които гледате на манифеста за доста дълъг интервал от време. “

Sentinel улавя едноминутни фотоси на чатове в Roblox-около 6 милиарда известия на ден-и ги проучва за евентуални вреди. За да направи това, Roblox споделя, че е създал два показателя - единият формиран от доброкачествени известия, а другият чат, които са решени да съдържат нарушавания на застрашаването на деца. Roblox споделя, че това разрешава на системата да разпознава нездравословни модели, които надвишават просто маркирането на избрани думи или изречения, като взима целия диалог в подтекст.

„ Този показател се усъвършенства, защото откриваме още неприятни артисти, ние просто непрестанно актуализираме този показател. Тогава имаме друга извадка от това, което прави естествен, постоянен консуматор? “ сподели Нарен Конеру, вицепрезидент по инженерство за доверие и сигурност в Roblox.

Тъй като потребителите беседват, системата поддържа резултата - по -близо ли са до позитивния клъстер или негативния клъстер? ; „ Тогава споделяме, добре, може би този консуматор е някой, който би трябвало да разгледаме доста по -отблизо, а по-късно отиваме да държим всичките им други диалози, други другари и игрите, които са играли, и всички тези неща. “

Хората преглеждат надлежно рискови взаимоотношения и знаме на органите на реда.